Generalization behavior of OPTQ and the role of regularization
OPTQ 的泛化行为与正则化作用
🧭 模型量化泛化理论
University of California, San Diego
为 OPTQ 及其随机变体建立泛化误差上界，并提出更优的正则化参数选择
📌 工作参考价值（4 点）
- 在做 LLM 部署量化（如推荐系统的排序大模型、Agent 规划模型做 INT4/INT8 量化）时，OPTQ 校准集的正则项 λ 不要沿用默认值，可参考文中理论选择方式，可能显著降低线上量化误差。
- 若业务场景数据分布随时间漂移（电商大促、季节性变化），可考虑 stochastic OPTQ 这类随机化量化，其泛化误差界不依赖特定校准集，对分布鲁棒性更强。
- 论文提供量化误差与校准集大小、分布匹配的理论关系，可用于指导校准集构建：尽量保证校准集与线上分布同源、样本量足够，避免离线效果好但线上掉点。
- 总体学术性较强，除上述适用点外，大部分理论结果难以直接落地；业务团队可关注其 λ 选择建议或对量化工具的超参数默认值做调整实验。